TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards
TRACE：用合成奖励训练因果探索推理智能体
🧭 Agent 诊断推理 + 合成奖励 RL ★ 深度解读
Independent Researchers
simulator-oracle-RL 把隐藏干预变客观奖励，训练广告诊断 Agent，35B FullAttr@1 达 0.757，超前沿闭源基线
📌 工作参考价值（4 点）
- 在电商/广告诊断场景，可复用 simulator-oracle-RL：先往离线广告数据或 sandbox 注入已知根因（如 BUDGET_CAP、COMPETITIVE_PRESSURE、CREATIVE_FATIGUE），再生成指标观测；隐藏干预直接作为 RL reward，省去人工归因标注和 LLM-as-judge。
- 归因任务奖励设计值得抄：用 cause correctness 作为门控，driver slice 用 Jaccard 给部分分，再加 binary full-attribution reward；full-attribution 项对多维 audience/placement 切片很关键，2D slice 从 0.00 提升到 0.27，1D 从 0.67 到 0.92。
- SFT warm start 价值明显：先用 oracle-filtered 教师轨迹做 SFT，能让 decision-parse rate 从 0.53 到 1.00，工具调用从 22.05 降到 10.75；后续 RL 只需少量额外工具调用就获得 12 个点 FullAttr@1 提升。
- 可以做一个 oracle verifier，只读 agent 可见数据，检查信号可检测性、信噪比和 confounder 可区分性，过滤掉不可解或太简单的 episode；这种 generation/acceptance 分离适合构造可扩展训练集。